21 PP-Checker: プログラミング教育における大規模言語モデルと協調した曖昧性のある自動採点システム

https://scrapbox.io/files/6752bc296bfb6adcd9587ca2.png

21 PP-Checker: プログラミング教育における大規模言語モデルと協調した曖昧性のある自動採点システム

関口 祐豊(明治大学), 中村 聡史(明治大学)

本研究は，入門的なプログラミング教育において受講生が犯しがちな初歩的なミスを，LLMによる自動採点システムでスクリーニングする手法を提案している．結果として，受講生は単純なミスについてはLLMの指摘で素早く修正することができ，また教員やTAはそのチェックを通過した提出物の採点に注力できるため，双方に有益なシステムになっている．120名以上が受講する1学期間の授業で運用した実績を含めて報告されており，採録に足る論文と判断した．

本論文では，プログラミング教育における採点業務の効率化を目指し，即時性，採点精度，曖昧性に焦点を当てた自動採点システムPP-Checkerを提案する．PP-Checkerは，大規模言語モデル（LLM）との協調により，動的かつ視覚的なプログラミング言語の自動採点を実現する．また，リアルタイムでプロンプトを調整できる機能を備えており，学生が課題に取り組んでいる間にも採点基準を更新し，結果をすぐに反映できる．実際の講義で計2400分運用した結果から，PP-Checkerは課題の再提出時間を平均3.6分まで短縮し，課題採点業務の効率化に貢献することが示された．

論文：

スライド：

関連記事：

体験用URL：

Googleログインで利用できます

課題を提出する場合は，課題名の青い部分を押してください

課題を採点する場合は，チェックボックスにチェックを入れ，右上の採点ボタンを押してください

うまく動かない等あった場合はリロードしてください🙇‍♂️

体験用課題：

https://scrapbox.io/files/6759776f45678b7041419623.png

参加者メモ・コメント

この結果はみんながChatGPTを使えることになったことも影響してそう..?

なんか教員が採点しないと採点に対する責任がどうたらこうたらという話で…

質疑の部分だけでもこれで相当省力化できそうなので，それはそれで使いたいのは間違いない

質疑